Pattison kết hôn với Mary Hudson, người mà anh gặp tại trại nhà thờ Swift Current khi cả hai đều 13 tuổi. Hudson đến từ Moose Jaw. Khoảng 66 năm sau vào năm 2018, Pattison nhận xét: "Bí mật [cho một cuộc hôn nhân thành công] là kết hôn với ai đó từ Saskatchewan. Sau đó, bạn sẽ không gặp vấn đề gì! " [10][26] Hai vợ chồng có ba đứa con.[27][28]

Tại một cuộc đấu giá ở Los Angeles vào ngày 17 tháng 11 năm 2016, Pattison đã mua (với giá 4,8 đô la   triệu) chiếc váy Jean Louis mà Marilyn Monroe mặc khi cô hát " Chúc mừng sinh nhật, ngài Tổng thống " cho Tổng thống John F. Kennedy trong lễ kỷ niệm sinh nhật lần thứ 45 của ông.[29] Ở tuổi 90, Pattison thích chơi piano, organ và kèn.[4]